import parsel
import requests
import re

url = 'http://www.1biqug.net/book/2485/8160425.html'

headers = {
    'User-Agen': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0'
}

reponses = requests.get(url)
select = parsel.Selector(reponses.text)
#方式1，通过css获取
title = select.css('.bookname h1::text').get()
contents = select.css('#content::text').getall()
#方式2，通过xpath获取
select.xpath('//*[@class="bookname"]/h1/text()').get()
select.xpath('//*[id="content"]/text()').getall()
#方式3，通过正则获取
name1 = re.findall('<h1>(.*?)</h1>',reponses.text)[0]
content1=re.findall('<div id="content">(.*?)<p>',reponses.text,re.S)[0]

contents_result = '\n'.join(contents)
print(contents_result)

#title <文件名> '.txt'文件格式  a表示追加保存  encoding编码格式  as表示重命名
with open(title + '.txt', mode='a',encoding='utf-8') as f:
    """
    第一章
       小说内容
    第二章
       小说内容
    """
    f.write(title)
    f.write('\n')
    f.write(contents_result)
    f.write('\n')